微调 vs Prompt vs RAG 选型决策

团队里最常见的一场无效争论:新需求来了,有人说「微调一个模型」,有人说「上 RAG」,有人说「改改 prompt 不就行了」。三方吵一下午,谁也说服不了谁——因为大家没意识到,这三个东西根本不解决同一类问题。

更糟的是有个反直觉的坑:很多人想「让模型记住我们公司的知识」,第一反应是微调。但 Gekhman 等人 2024 年的论文(EMNLP,arXiv:2405.05904)给了当头一棒——在新事实上微调,模型学得又慢、还会线性抬高幻觉率。你以为在教它知识,其实在教它编。

一句话概括:事实进 RAG,行为进权重,一次性需求进 prompt。RAG 解决「知道什么」,微调解决「表现成什么样」,两者正交不互斥;而「用微调给模型灌新事实」是头号踩坑,几乎总该改用 RAG。

这篇不做技术综述,直接给你一张能照着走的决策表、一个把规则编码成代码的离线决策顾问,以及每一步的判断阈值。


一、先分清:三者解决的是不同的问题

把它们摆在一起对比,差异一目了然:

解决什么 改变什么 典型场景 知识更新
Prompt 一次性的任务框定、措辞 什么都不训练 临时需求、快速验证 改提示词即可
RAG 让模型「知道」外部事实 注入 context,不动模型 会变的知识、大语料、要引用来源 改数据库,实时生效
Fine-tune 固定模型的「形式/风格/行为」 改模型权重 稳定输出格式、领域语气、缩短 prompt 要重新训练,慢

记住这条心智模型:知识(knowledge)用检索,行为(behavior)用权重,框定(framing)用提示词。 三者不是竞品,是流水线上的不同工序。

一个最容易被忽略的推论:RAG 和 fine-tune 可以叠加。微调让模型学会「怎么用检索到的内容」,RAG 提供「用什么内容」——这就是 RAFT(arXiv:2403.10131)的思路,后面会讲。


二、头号大坑:别用微调给模型灌事实

这是全篇最重要的一节,因为它是最贵的错误。

直觉陷阱:「我们有 200 条内部术语,微调一下让模型记住不就好了?」

为什么错:Gekhman 等人 2024 年做了对照实验——把「模型原本不知道的新事实」放进微调数据。结果是两个坏消息叠加:

正确姿势:事实是会变的、需要溯源的、可能出错的东西,天生该待在可检索、可更新、可引用的外部存储里,而不是烧死在权重里。所以看似「行为」的需求,只要它的本质是「让模型记住某些事实」,就应该改判 RAG。

这条规则在 demo 里是最高优先级的护栏,任何其它判断之前先过它。


三、决策阶梯:从便宜到贵,逐级升级

选型的正确顺序是从最轻的手段开始,不够了再往上爬:

graph TD
    A["新需求"] --> B{"是想让模型
记住事实吗?"} B -->|"是"| R["RAG(别用微调灌事实)"] B -->|"否"| C{"问题类型?"} C -->|"知识型"| D{"知识会变吗?"} D -->|"频繁变/语料大"| R D -->|"小而稳"| E["CAG / 长上下文"] C -->|"一次性框定"| F["Prompt"] C -->|"固定行为"| G{"有多少标注样本?"} G -->|"<10"| F G -->|"10-49"| H["Few-shot Prompt"] G -->|"≥50"| I["Fine-tune"]

每一档的判断阈值,直接抄:

信号 阈值 结论
标注样本数 < 10 只能 prompt,先攒数据
标注样本数 10 - 49 few-shot 顶上,微调再等等
标注样本数 ≥ 50 微调可行(前提是行为问题、非灌事实)
语料规模 < 50 文档 / < 100K token 且稳定 CAG / 长上下文,全塞进去省掉检索
语料规模 > 1000 文档 / > 1M token 塞不下,必须 RAG
知识更新频率 ≤ 月级会变 RAG,微调跟不上

CAG(Cache-Augmented Generation,arXiv:2412.15605)是个常被忽略的中间态:语料又小又稳时,与其搭一套检索链路,不如把全部语料预加载进 context + 开 prompt caching,省掉检索的工程复杂度和延迟。


四、动手:把规则编码成决策顾问

配套代码在 ft-vs-prompt-vs-rag,完全离线(决策全是规则,不调模型),go run . 直接跑。

它把上面的阶梯编码成一个 recommend 函数。用例画像是输入:

type Profile struct {
    Name            string
    Problem         Problem // knowledge / behavior / framing
    NeedsFacts      bool    // Gekhman 护栏:这个「行为」其实是想让模型记住事实吗?
    KnowledgeChange string  // "often"(≤月级更新)/ "stable"
    KnowledgeSize   string  // "small" / "large"
    LabeledExamples int     // 有多少条高质量标注样本
    LowLatency      bool    // 是否对延迟极敏感
    HighVolume      bool    // 是否高频调用
}

规则 0 是最高优先级的 Gekhman 护栏——任何其它判断之前先拦一道:

// —— 规则 0:Gekhman 护栏。最优先,防止最常见的踩坑。——
if p.Problem == Behavior && p.NeedsFacts {
    reasons = append(reasons,
        "看似行为问题,实为「想让模型记住事实」——在新事实上微调学得慢且抬高幻觉(Gekhman 2024)",
        "改判:事实用检索注入,不要写进权重")
    return "RAG(不要用 fine-tune 灌事实)", reasons
}

行为问题则按样本量走阶梯,≥50 才放行微调:

switch {
case p.LabeledExamples < 10:
    return "Prompt(样本不足,先跑起来攒数据)", reasons
case p.LabeledExamples < 50:
    return "Few-shot Prompt(够示例,微调再等等)", reasons
default:
    // 行为/格式固定且不灌事实 → 微调把行为烧进权重
    return "Fine-tune(把稳定行为烧进权重)", reasons
}

跑出来的几个代表性判决,正好覆盖所有分支:

▶ 客服机器人,答每周更新的产品文档   → RAG(知识频繁变,微调跟不上)
▶ 内部 FAQ,30 篇几乎不变的政策文档   → CAG / 长上下文(小而稳直接全塞)
▶ 固定 JSON 格式,800 条样本         → Fine-tune(行为问题、样本充足)
▶ 让模型记住 200 条内部术语定义       → RAG(Gekhman 护栏:别用微调灌事实)
▶ 临时活动让文案更活泼               → Prompt(一次性,改提示词即可)
▶ 想固定风格但只有 8 条样本           → Prompt(样本不足,先攒数据)

第 3 条和第 4 条的对比是全篇精华:同样标着「行为」,一个真是格式固定(放行微调),一个是想灌事实(改判 RAG)——区别不在样本多少,而在本质是不是「记住事实」。


五、组合拳:RAG 与微调叠加(RAFT)

当你既要「检索会变的知识」、又要「固定回答的格式和引用方式」时,单招都不够。这时候两招叠加:

这就是 RAFT(Retrieval-Augmented Fine-Tuning,arXiv:2403.10131):在「带检索上下文的样本」上微调。它不是用微调灌事实(那会踩 Gekhman 的坑),而是用微调固化「使用检索结果的行为」——事实仍然走 RAG 实时注入。这完美呼应了「知识用检索、行为用权重」的主张。

demo 里 combineHint 就在知识型 + 样本充足时给出这条建议。


六、2026 的现实约束:微调越来越难做

在你决定微调之前,先看清生态的现状——这直接影响可行性:

Provider 微调现状(需以官方为准) 含义
OpenAI 正在收缩自助微调平台,转向更受限的定制方案 别把长期方案押在自助微调上
Anthropic 极度保守,仅特定旧模型(如 Claude 3 Haiku via Bedrock)开放 Claude 系基本用 prompt + RAG
开源模型 QLoRA(arXiv:2305.14314)让单张 48GB 显卡微调 65B 成为可能 要微调,开源权重是主战场

一个务实的替代方案是蒸馏(distillation):用强模型生成高质量数据,微调一个小模型来「模仿行为」——这既绕开了「灌事实」的坑(学的是行为不是事实),又降低推理成本。

结论:2026 年,绝大多数团队的最优解是 Prompt + RAG,微调留给「行为高度固定、样本充足、且有开源权重可训」的少数场景。「RAG 已死」是伪命题——死的是朴素 RAG,不是检索本身。


七、决策 Playbook(照着走)

  1. 先问一句「我是想让模型知道什么,还是表现成什么样?」 知道什么 → RAG;表现成什么样 → 可能微调。
  2. 过 Gekhman 护栏:如果「表现」的本质是「记住事实」,立刻改判 RAG,不要微调。
  3. 知识型分流:语料会变或很大 → RAG;小而稳 → CAG / 长上下文。
  4. 行为型看样本量:< 10 走 prompt,10-49 走 few-shot,≥ 50 才考虑微调。
  5. 一次性需求:别上重武器,改 prompt。
  6. 既要知识又要行为:RAG + 微调叠加(RAFT),微调学「怎么用」而非「是什么」。
  7. 微调前查生态:确认目标 provider 还开放微调,否则转向开源权重或蒸馏。

小结

微调 vs Prompt vs RAG 不是三选一的竞赛,而是解决不同问题的正交工具:RAG 让模型知道会变的事实,微调让模型的行为固定成某种形式,prompt 处理一次性框定。选型按「从便宜到贵」的阶梯走——先 prompt,不够上 RAG,行为固定且样本够(≥50)才微调,两头都要就 RAFT 叠加。最该刻进肌肉记忆的是那条 Gekhman 护栏:别用微调给模型灌新事实,它学得慢还让模型更爱编。2026 年生态在收缩自助微调,多数团队的稳妥解是 Prompt + RAG,把微调留给少数真正的行为固化场景。


参考资料

资料 来源
Gekhman et al.《Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?》 arXiv:2405.05904(EMNLP 2024)
RAFT: Retrieval-Augmented Fine-Tuning arXiv:2403.10131
QLoRA: Efficient Finetuning of Quantized LLMs arXiv:2305.14314
CAG: Cache-Augmented Generation arXiv:2412.15605
OpenAI Fine-tuning guide platform.openai.com/docs/guides/fine-tuning
Anthropic Fine-tuning(Bedrock) docs.anthropic.com / aws.amazon.com/bedrock
本篇配套代码 github.com/hua-ri/agent-learning /main/ft-vs-prompt-vs-rag